ERA: Entropy-Guided Visual Token Pruning with Rectified Attention for Efficient MLLMs
ERA：熵引导的视觉令牌剪枝与注意力矫正框架
🧭 多模态大模型推理加速
提出训练免视觉令牌剪枝框架ERA，通过熵引导和注意力矫正解决logit崩塌，实现高效MLLMs
📌 工作参考价值（4 点）
- 训练免剪枝方法：可直接应用于商品图文理解等现有多模态模型，快速降低视觉令牌数量，减少推理延迟，无需重新训练。
- 熵引导锚点选择：利用视觉多样性和注意力头显著性保留商品图像关键区域（如主体细节），防止重要视觉信息丢失。
- 偏置回收与注意力矫正：在广告图片或视频帧压缩后，通过回收剪枝令牌信息并注入logit偏置，维持注意力分布一致，避免输出漂移。
- 即插即用组件：DEP、BTR、LAR可模块化嵌入推理流程，适合实时推荐、多模态Agent等对延迟敏感的场景。